Gia đình của Từ Thế Tích có nguồn gốc tại Tào châu (曹州, nay gần tương ứng với Hà Trạch, Sơn Đông), song đến thời Tùy thì di cư đến Hoạt châu (滑州, nay gần tương ứng với An Dương, Hà Nam). Cha của Từ Thế Tích là Từ Cái (徐蓋), hai cha con được miêu tả là hào phóng, dùng lương thực trong lãnh địa của mình để tế bần cho những người đói kém, bất kể quan hệ với họ.